Stulpelinė saugykla: Parquet optimizavimo dideliems duomenims įvaldymas

Didžiųjų duomenų eroje efektyvus saugojimas ir gavimas yra svarbiausi. Stulpelinės saugyklos formatai, tokie kaip Apache Parquet, tapo šiuolaikinių duomenų saugyklų ir analitikos pagrindu. Parquet stulpelinė struktūra leidžia pasiekti reikšmingų optimizacijų duomenų glaudinimo ir užklausų našumo srityse, ypač dirbant su dideliais duomenų rinkiniais. Šis vadovas pateikia išsamų Parquet optimizavimo metodų tyrimą, skirtą pasaulinei duomenų inžinierių, analitikų ir architektų auditorijai.

Stulpelinės saugyklos ir Parquet supratimas

Kas yra stulpelinė saugykla?

Tradicinės eilutėmis orientuotos saugojimo sistemos saugo duomenų įrašus nuosekliai, eilutė po eilutės. Nors tai yra efektyvu norint gauti visus įrašus, tai tampa neefektyvu, kai analizei reikalingas tik stulpelių poaibis. Kita vertus, stulpelinė saugykla saugo duomenis pagal stulpelius. Tai reiškia, kad visos tam tikro stulpelio reikšmės saugomos greta. Toks išdėstymas suteikia keletą privalumų:

• Patobulintas glaudinimas: Panašūs duomenų tipai stulpelyje gali būti efektyviau suglaudinami naudojant tokius metodus kaip sekų ilgio kodavimas (RLE) arba žodyno kodavimas.
• Sumažintas I/O: Kai užklausiama tik keletas stulpelių, sistema turi nuskaityti tik atitinkamus stulpelių duomenis, žymiai sumažindama I/O operacijas ir pagerindama užklausos našumą.
• Pagerintas analitinis našumas: Stulpelinė saugykla puikiai tinka analitinėms darbo apkrovoms, kurios dažnai apima duomenų agregavimą ir filtravimą tam tikruose stulpeliuose.

Pristatome Apache Parquet

Apache Parquet yra atvirojo kodo stulpelinės saugyklos formatas, skirtas efektyviam duomenų saugojimui ir gavimui. Jis ypač gerai tinka naudoti su didžiųjų duomenų apdorojimo sistemomis, tokiomis kaip Apache Spark, Apache Hadoop ir Apache Arrow. Pagrindinės Parquet savybės yra šios:

• Stulpelinė saugykla: Kaip aptarta, Parquet saugo duomenis pagal stulpelius.
• Schemos evoliucija: Parquet palaiko schemos evoliuciją, leidžiančią pridėti ar pašalinti stulpelius neperrašant viso duomenų rinkinio.
• Glaudinimas: Parquet palaiko įvairius glaudinimo kodekus, įskaitant Snappy, Gzip, LZO ir Brotli, leidžiančius žymiai sumažinti saugojimo vietą.
• Kodavimas: Parquet naudoja skirtingas kodavimo schemas, tokias kaip žodyno kodavimas, paprastas kodavimas ir delta kodavimas, siekiant optimizuoti saugojimą pagal duomenų charakteristikas.
• Predikato nustūmimas: Parquet palaiko predikato nustūmimą, leidžiantį filtravimą atlikti saugojimo lygmenyje, dar labiau sumažinant I/O ir pagerinant užklausos našumą.

Pagrindiniai Parquet optimizavimo metodai

1. Schemos projektavimas ir duomenų tipai

Kruopštus schemos projektavimas yra labai svarbus Parquet optimizavimui. Tinkamų duomenų tipų pasirinkimas kiekvienam stulpeliui gali ženkliai paveikti saugojimo efektyvumą ir užklausų našumą.

• Tinkamų duomenų tipų pasirinkimas: Naudokite mažiausią duomenų tipą, kuris gali tiksliai atspindėti duomenis. Pavyzdžiui, jei stulpelis atspindi amžių, naudokite `INT8` arba `INT16` vietoj `INT32`, jei maksimalus amžius yra mažesniame diapazone. Panašiai, piniginėms vertėms apsvarstykite galimybę naudoti `DECIMAL` su tinkamu tikslumu ir masteliu, kad išvengtumėte slankiojo kablelio netikslumų.
• Įdėtosios duomenų struktūros: Parquet palaiko įdėtąsias duomenų struktūras (pvz., sąrašus ir žemėlapius). Naudokite jas protingai. Nors jos gali būti naudingos sudėtingiems duomenims atvaizduoti, per didelis įdėjimas gali paveikti užklausų našumą. Apsvarstykite galimybę denormalizuoti duomenis, jei įdėtosios struktūros tampa per sudėtingos.
• Venkite didelių teksto laukų: Dideli teksto laukai gali žymiai padidinti saugojimo vietą ir užklausos laiką. Jei įmanoma, apsvarstykite galimybę saugoti didelius teksto duomenis atskiroje saugojimo sistemoje ir susieti juos su Parquet duomenimis naudojant unikalų identifikatorių. Kai tekstą saugoti būtina, tinkamai jį suglaudinkite.

Pavyzdys: Apsvarstykite vietovės duomenų saugojimą. Užuot saugoję platumą ir ilgumą kaip atskirus `DOUBLE` stulpelius, galite apsvarstyti galimybę naudoti geoerdvinį duomenų tipą (jei jį palaiko jūsų apdorojimo variklis) arba saugoti juos kaip vieną `STRING` gerai apibrėžtu formatu (pvz., "platuma,iluma"). Tai gali pagerinti saugojimo efektyvumą ir supaprastinti erdvines užklausas.

2. Tinkamo kodavimo pasirinkimas

Parquet siūlo įvairias kodavimo schemas, kurių kiekviena tinka skirtingų tipų duomenims. Tinkamo kodavimo pasirinkimas gali žymiai paveikti glaudinimą ir užklausų našumą.

• Paprastas kodavimas: Tai yra numatytasis kodavimas, kuris tiesiog saugo duomenų reikšmes tokias, kokios jos yra. Jis tinka duomenims, kuriuos sunku suglaudinti.
• Žodyno kodavimas: Šis kodavimas sukuria unikalių stulpelio reikšmių žodyną, o tada saugo žodyno indeksus, o ne pačias reikšmes. Jis labai efektyvus stulpeliams, turintiems nedidelį skaičių skirtingų reikšmių (pvz., kategoriniams duomenims, tokiems kaip šalių kodai, produktų kategorijos ar būsenos kodai).
• Sekų ilgio kodavimas (RLE): RLE tinka stulpeliams su ilgomis pasikartojančių reikšmių sekomis. Jis saugo reikšmę ir kartų, kiek ji kartojasi, skaičių.
• Delta kodavimas: Delta kodavimas saugo skirtumą tarp nuoseklių reikšmių. Jis efektyvus laiko eilučių duomenims ar kitiems duomenims, kurių reikšmės linkusios būti artimos viena kitai.
• Bitais supakuotas kodavimas: Šis kodavimas efektyviai supakuoja kelias reikšmes į vieną baitą, sumažindamas saugojimo vietą, ypač mažoms sveikųjų skaičių reikšmėms.

Pavyzdys: Apsvarstykite stulpelį, atspindintį e. komercijos sandorių "užsakymo būseną" (pvz., "Laukiama", "Išsiųsta", "Pristatyta", "Atšaukta"). Šiuo atveju žodyno kodavimas būtų labai efektyvus, nes stulpelis turi ribotą skaičių skirtingų reikšmių. Kita vertus, stulpelis, kuriame yra unikalūs vartotojų ID, iš žodyno kodavimo naudos negautų.

3. Glaudinimo kodekai

Parquet palaiko įvairius glaudinimo kodekus, siekiant sumažinti saugojimo vietą. Kodeko pasirinkimas gali žymiai paveikti tiek saugyklos dydį, tiek procesoriaus naudojimą glaudinimo ir išglaudinimo metu.

• Snappy: Snappy yra greitas glaudinimo kodekas, siūlantis gerą balansą tarp glaudinimo laipsnio ir greičio. Tai dažnai yra geras numatytasis pasirinkimas.
• Gzip: Gzip suteikia didesnį glaudinimo laipsnį nei Snappy, bet yra lėtesnis. Jis tinka duomenims, prie kurių prieinama retai arba kai saugojimo vieta yra pagrindinis rūpestis.
• LZO: LZO yra kitas greitas glaudinimo kodekas, dažnai naudojamas Hadoop aplinkose.
• Brotli: Brotli siūlo dar geresnį glaudinimo laipsnį nei Gzip, bet paprastai yra lėtesnis. Tai gali būti geras pasirinkimas, kai saugojimo vieta yra labai svarbi, o procesoriaus naudojimas kelia mažiau rūpesčių.
• Zstandard (Zstd): Zstd suteikia platų glaudinimo lygių spektrą, leidžiantį keisti glaudinimo laipsnį į greitį. Jis dažnai siūlo geresnį našumą nei Gzip esant panašiems glaudinimo lygiams.
• Nesuglaudinta: Derinimo ar specifiniams, našumui kritiniams scenarijams galite pasirinkti saugoti duomenis nesuglaudintus, tačiau tai paprastai nerekomenduojama dideliems duomenų rinkiniams.

Pavyzdys: Dažnai pasiekiamiems duomenims, naudojamiems realiojo laiko analitikoje, Snappy arba Zstd su žemesniu glaudinimo lygiu būtų geras pasirinkimas. Archyviniams duomenims, prie kurių prieinama retai, labiau tiktų Gzip arba Brotli.

4. Skaidymas (Partitioning)

Skaidymas apima duomenų rinkinio padalijimą į mažesnes, lengviau valdomas dalis, remiantis vieno ar kelių stulpelių reikšmėmis. Tai leidžia apriboti užklausas tik atitinkamoms skaidoms, žymiai sumažinant I/O ir pagerinant užklausų našumą.

• Skaidymo stulpelių pasirinkimas: Pasirinkite skaidymo stulpelius, kurie dažnai naudojami užklausų filtruose. Dažni skaidymo stulpeliai yra data, šalis, regionas ir kategorija.
• Skaidymo detalumas: Apsvarstykite savo skaidų detalumą. Per daug skaidų gali sukelti mažus failus, o tai gali neigiamai paveikti našumą. Per mažai skaidų gali lemti dideles skaidas, kurias sunku apdoroti.
• Hierarchinis skaidymas: Laiko eilučių duomenims apsvarstykite galimybę naudoti hierarchinį skaidymą (pvz., metai/mėnuo/diena). Tai leidžia efektyviai teikti užklausas dėl duomenų konkretiems laiko intervalams.
• Venkite didelio kardinalumo skaidymo: Venkite skaidyti pagal stulpelius su dideliu skaičiumi skirtingų reikšmių (didelis kardinalumas), nes tai gali sukelti didelį skaičių mažų skaidų.

Pavyzdys: Pardavimų sandorių duomenų rinkinį galite skaidyti pagal `metus` ir `mėnesį`. Tai leistų efektyviai teikti užklausas dėl pardavimų duomenų konkrečiam mėnesiui ar metams. Jei dažnai teikiate užklausas dėl pardavimų duomenų pagal šalį, taip pat galėtumėte pridėti `šalį` kaip skaidymo stulpelį.

5. Failo dydis ir bloko dydis

Parquet failai paprastai yra padalinti į blokus. Bloko dydis įtakoja lygiagretumo laipsnį užklausų apdorojimo metu. Optimalus failo ir bloko dydis priklauso nuo konkretaus naudojimo atvejo ir pagrindinės infrastruktūros.

• Failo dydis: Paprastai, siekiant optimalaus našumo, pageidautini didesni failų dydžiai (pvz., nuo 128 MB iki 1 GB). Mažesni failai gali padidinti pridėtines išlaidas dėl metaduomenų valdymo ir padidėjusių I/O operacijų.
• Bloko dydis: Bloko dydis paprastai nustatomas pagal HDFS bloko dydį (pvz., 128 MB arba 256 MB).
• Sutankinimas: Reguliariai sutankinkite mažus Parquet failus į didesnius, kad pagerintumėte našumą.

6. Predikato nustūmimas

Predikato nustūmimas yra galinga optimizavimo technika, leidžianti filtravimą atlikti saugojimo lygmenyje, prieš duomenis nuskaitant į atmintį. Tai žymiai sumažina I/O ir pagerina užklausų našumą.

• Įjunkite predikato nustūmimą: Įsitikinkite, kad predikato nustūmimas yra įjungtas jūsų užklausų variklyje (pvz., Apache Spark).
• Efektyviai naudokite filtrus: Naudokite filtrus savo užklausose, kad apribotumėte duomenų, kuriuos reikia nuskaityti, kiekį.
• Skaidų genėjimas: Predikato nustūmimas taip pat gali būti naudojamas skaidų genėjimui, kai ištisos skaidos praleidžiamos, jei jos neatitinka užklausos filtro.

7. Duomenų praleidimo metodai

Be predikato nustūmimo, galima naudoti ir kitus duomenų praleidimo metodus, siekiant dar labiau sumažinti I/O. Min/Max indeksai, Blumo filtrai ir zonos žemėlapiai yra keletas strategijų, leidžiančių praleisti nesvarbių duomenų skaitymą, remiantis stulpelių statistika ar iš anksto apskaičiuotais indeksais.

• Min/Max indeksai: Saugojant minimalias ir maksimalias kiekvieno stulpelio reikšmes duomenų bloke, užklausų variklis gali praleisti blokus, kurie nepatenka į užklausos diapazoną.
• Blumo filtrai: Blumo filtrai suteikia tikimybinį būdą patikrinti, ar elementas yra aibės narys. Jie gali būti naudojami praleisti blokus, kuriuose mažai tikėtina rasti atitinkančių reikšmių.
• Zonų žemėlapiai: Panašiai kaip Min/Max indeksai, zonų žemėlapiai saugo papildomą statistiką apie duomenis bloke, leidžiantys sudėtingesnį duomenų praleidimą.

8. Užklausų variklio optimizavimas

Parquet užklausų našumas taip pat priklauso nuo naudojamo užklausų variklio (pvz., Apache Spark, Apache Hive, Apache Impala). Labai svarbu suprasti, kaip optimizuoti užklausas jūsų konkrečiam užklausų varikliui.

• Optimizuokite užklausų planus: Analizuokite užklausų planus, kad nustatytumėte galimas kliūtis ir optimizuotumėte užklausos vykdymą.
• Sujungimų optimizavimas: Naudokite tinkamas sujungimo strategijas (pvz., transliacinį maišos sujungimą, maišymo maišos sujungimą), atsižvelgdami į jungiamų duomenų rinkinių dydį.
• Spartinimas (Caching): Laikykite dažnai naudojamus duomenis atmintyje, kad sumažintumėte I/O.
• Išteklių paskirstymas: Tinkamai paskirstykite išteklius (pvz., atmintį, procesorių) užklausų varikliui, kad užtikrintumėte optimalų našumą.

9. Duomenų lokalumas

Duomenų lokalumas reiškia duomenų artumą apdorojimo mazgams. Kai duomenys saugomi lokaliai tuose pačiuose mazguose, kurie juos apdoroja, I/O yra sumažinamas, o našumas pagerėja.

• Suderinkite duomenis ir apdorojimą: Užtikrinkite, kad jūsų Parquet duomenys būtų saugomi tuose pačiuose mazguose, kuriuose veikia jūsų užklausų variklis.
• HDFS žinojimas: Konfigūruokite savo užklausų variklį taip, kad jis žinotų HDFS topologiją ir teiktų pirmenybę duomenų skaitymui iš vietinių mazgų.

10. Reguliari priežiūra ir stebėjimas

Parquet optimizavimas yra nuolatinis procesas. Reguliariai stebėkite savo Parquet duomenų rinkinių našumą ir prireikus atlikite pakeitimus.

• Stebėkite užklausų našumą: Sekite užklausų vykdymo laikus ir nustatykite lėtai veikiančias užklausas.
• Stebėkite saugyklos naudojimą: Stebėkite savo Parquet duomenų rinkinių naudojamą saugojimo vietą ir nustatykite glaudinimo ir optimizavimo galimybes.
• Duomenų kokybė: Užtikrinkite, kad jūsų duomenys būtų švarūs ir nuoseklūs. Duomenų kokybės problemos gali neigiamai paveikti užklausų našumą.
• Schemos evoliucija: Atidžiai planuokite schemos evoliuciją. Stulpelių pridėjimas ar pašalinimas gali paveikti našumą, jei tai atliekama netinkamai.

Pažangūs Parquet optimizavimo metodai

Vektorizuoti skaitymai su Apache Arrow

Apache Arrow yra tarpkalbinė kūrimo platforma atmintyje esantiems duomenims. Parquet integravimas su Apache Arrow leidžia atlikti vektorizuotus skaitymus, kurie žymiai pagerina užklausų našumą apdorojant duomenis didesniais paketais. Tai leidžia išvengti pridėtinių išlaidų, susijusių su kiekvienos eilutės apdorojimu, ir leidžia daug greičiau atlikti analitines darbo apkrovas. Įgyvendinimas dažnai apima Arrow stulpelinio formato atmintyje naudojimą tiesiogiai iš Parquet failų, aplenkiant tradicinę eilutėmis pagrįstą iteraciją.

Stulpelių pertvarkymas

Fizinė stulpelių tvarka Parquet faile gali paveikti glaudinimą ir užklausų našumą. Stulpelių pertvarkymas taip, kad tie, kurie turi panašių savybių (pvz., didelio kardinalumo ir mažo kardinalumo), būtų saugomi kartu, gali pagerinti glaudinimo laipsnį ir sumažinti I/O, kai pasiekiamos konkrečios stulpelių grupės. Eksperimentavimas ir profiliavimas yra labai svarbūs norint nustatyti optimalią stulpelių tvarką konkrečiam duomenų rinkiniui ir darbo krūviui.

Blumo filtrai teksto stulpeliams

Nors Blumo filtrai paprastai yra veiksmingi skaitiniams stulpeliams, jie taip pat gali būti naudingi teksto stulpeliams, ypač filtruojant pagal lygybės predikatus (pvz., `WHERE produkto_pavadinimas = 'Konkretus Produktas'`). Įjungus Blumo filtrus dažnai filtruojamiems teksto stulpeliams, galima žymiai sumažinti I/O, praleidžiant blokus, kuriuose mažai tikėtina rasti atitinkančių reikšmių. Efektyvumas priklauso nuo teksto reikšmių kardinalumo ir pasiskirstymo.

Pasirinktiniai kodavimai

Labai specializuotiems duomenų tipams ar šablonams apsvarstykite galimybę įdiegti pasirinktinius kodavimo schemas, pritaikytas specifinėms duomenų savybėms. Tam gali prireikti kurti pasirinktinius kodekus arba naudoti esamas bibliotekas, teikiančias specializuotus kodavimo algoritmus. Pasirinktinių kodavimų kūrimas ir priežiūra reikalauja didelės patirties, tačiau tam tikrais atvejais gali duoti didelę našumo naudą.

Parquet metaduomenų spartinimas

Parquet failuose yra metaduomenų, aprašančių duomenų schemą, kodavimą ir statistiką. Šių metaduomenų spartinimas atmintyje gali žymiai sumažinti užklausų delsą, ypač užklausoms, kurios pasiekia didelį skaičių Parquet failų. Užklausų varikliai dažnai suteikia metaduomenų spartinimo mechanizmus, todėl svarbu tinkamai sukonfigūruoti šiuos nustatymus, siekiant maksimalaus našumo.

Globalūs aspektai Parquet optimizavimui

Dirbant su Parquet pasauliniame kontekste, svarbu atsižvelgti į šiuos dalykus:

• Laiko juostos: Saugodami laiko žymes, naudokite UTC (Koordinuotąjį universalųjį laiką), kad išvengtumėte dviprasmybių ir užtikrintumėte nuoseklumą tarp skirtingų laiko juostų.
• Simbolių kodavimas: Visiems teksto duomenims naudokite UTF-8 kodavimą, kad palaikytumėte platų simbolių spektrą iš skirtingų kalbų.
• Valiuta: Saugodami pinigines vertes, naudokite nuoseklią valiutą ir apsvarstykite galimybę naudoti dešimtainį duomenų tipą, kad išvengtumėte slankiojo kablelio netikslumų.
• Duomenų valdymas: Įgyvendinkite tinkamas duomenų valdymo politikas, kad užtikrintumėte duomenų kokybę ir nuoseklumą skirtinguose regionuose ir komandose.
• Atitiktis: Žinokite duomenų privatumo reglamentus (pvz., BDAR, CCPA) ir užtikrinkite, kad jūsų Parquet duomenys būtų saugomi ir apdorojami laikantis šių reglamentų.
• Kultūriniai skirtumai: Būkite atidūs kultūriniams skirtumams projektuodami savo duomenų schemą ir rinkdamiesi duomenų tipus. Pavyzdžiui, datų ir skaičių formatai gali skirtis skirtinguose regionuose.

Išvada

Parquet optimizavimas yra daugialypis procesas, reikalaujantis gilaus duomenų savybių, kodavimo schemų, glaudinimo kodekų ir užklausų variklio elgsenos supratimo. Taikydami šiame vadove aptartus metodus, duomenų inžinieriai ir architektai gali žymiai pagerinti savo didelių duomenų programų našumą ir efektyvumą. Atminkite, kad optimali optimizavimo strategija priklauso nuo konkretaus naudojimo atvejo ir pagrindinės infrastruktūros. Nuolatinis stebėjimas ir eksperimentavimas yra labai svarbūs siekiant geriausių įmanomų rezultatų nuolat besikeičiančioje didžiųjų duomenų aplinkoje.